长时智能体记忆:互补式记忆构建与整合
🧭 Agent 长程记忆 · 混合存储与整合 ★ 深度解读
Microsoft
提出情节记忆+结构化关系记忆的混合存储,并通过离线聚类整合压缩16%以上记忆且性能几乎不降
📌 工作参考价值(4 点)
- 会话级记忆构建:电商客服/导购 Agent 可在 session 结束后批量抽取两类记忆,减少逐轮 LLM 调用,同时保留跨轮上下文;关系记忆采用 (实体, 关系, 客体, 时间戳, 来源上下文) 结构,便于后续查询、更新和溯源。
- 双存储分离检索:查询时同时检索情节记忆和关系元组,关系条目更短、预算内可多取,适合「用户历史偏好/订单/承诺」等电商 QA 场景;固定 top-k 且 k=10 已饱和,能省 token 和延迟。
- 离线 UMAP+HDBSCAN 聚类整合:定期对 embedding 聚类做 merge/delete,可压缩 16–34% 存储,适合长生命周期用户档案;min_cluster_size 取 5–10 能在压缩率和准确率间取得平衡。
- 关系记忆的 provenance/timestamp 设计可直接迁移到推荐系统的用户画像:不仅存「用户喜欢什么」,还存「何时为何说」,避免旧偏好覆盖新偏好。
RippleMem:从孤立检索到联想式回忆的长期 Agent 记忆系统
🧭 长期 Agent 记忆 · 联想式证据补全 ★ 深度解读
Communication University of China · Zhilian Yinghe Technology Co., Ltd. · State Key Laboratory of Media Convergence and Communication
把已召回记忆作为 cue,沿事件图局部扩展补全缺失证据,长期记忆 QA 精度显著提升
📌 工作参考价值(4 点)
- 在客服/导购 Agent 中,用户偏好、约束常分散在多轮多 session:一次检索容易只召回直接相关记忆,却漏掉安全约束(如海鲜过敏)。可借鉴「召回后把已召回记忆当 cue,用 LLM 判断缺失证据目标,再沿语义/结构化边局部扩展」的读阶段,避免无向图全局游走。
- 写入阶段把对话压缩为 cue-rich episodic units,结构化保存参与者/地点/时间,并建稀疏图:语义边 + 结构化边(Jaccard/时间衰减)。电商场景可把用户、商品、场景实体存为 cue,便于跨 session 关联,且比维护完整 KG 便宜约 30 倍。
- 工程实现上,建图采用增量式候选池(语义近邻 + 结构化倒排),每节点最多 K 条边,避免 O(N²);证据装配用固定权重排序 + 固定 evidence budget,上下文 token 可控。query-time 控制器额外引入 LLM 延迟,可异步或缓存。
- 复用结论:关联/图检索只有在「evidence-conditioned」补全(有明确缺失支撑目标)时才有效,单纯加图或递归检索容易召回相关但不支持答案的记忆;业务里可用 missing-support target 约束扩展方向。
灌丛鸦情景记忆启发的Agent记忆系统
🧭 Agent记忆系统 · 时间衰减
Birla Institute of Technology and Science, Pilani
将灌丛鸦的What-Where-When记忆与类型条件时间衰减引入LLM Agent记忆,有效处理过期事实
📌 工作参考价值(4 点)
- 对话式推荐或搜索Agent中,用户偏好与促销事实时效性不同,可借鉴类型条件衰减系数,为每条记忆(如短期价格 vs 长期偏好)自动分配不同半衰期,避免过期信息污染上下文。
- 记忆存储采用WWW元组及可腐性π_i和效用期限τ_i,检索时结合查询自适应打分,可对已有向量知识库做动态时效加权,提升检索精准度。
- 更新机制仅需O(1)次LLM调用,工程上轻量,适合电商高并发场景下记忆增量修正。
- 引入的Temporal Generalization Test(TGT)和Generalization Gap指标可用于评估自家记忆系统对时间泛化的能力,辅助上线前量化时效性风险。
活动框架:用于 Agent 记忆与回放的确定性屏幕活动编译
🧭 Agent 记忆压缩与成本归因
Independent Researcher
将屏幕操作编译为缓存友好的结构化记忆,使 Agent 以极低 token 开销准确回答用户日常行为问题并量化例程成本
📌 工作参考价值(4 点)
- 用户行为记忆与复用:在电商运营、广告优化等 Agent 辅助场景中,可通过被动屏幕捕获将运营人员的操作流(选品、调价、搭建计划)编译成结构化记忆块,替代 LLM 摘要,减少重复推理的 token 消耗,提升 Agent 对上下文的理解准确率。
- 零模型回放降低延迟与成本:已编译的例程可在命中时直接确定性回放,无需模型调用,实现零 token 自动化。适用于高频、重复的标准化操作(如日常报表拉取、状态检查),推动 Agent 行为从“再生”到“复用”的范式转变。
- Agent 成本归因与价值量化:引入 Routine Overhead Ratio (R) 与可委派重复率 (h),可前置衡量将人工操作交给 Agent 的 token 放大倍数与复用上限,指导决策哪些流程适合自动化、预期收益如何,为 Agent 投产提供量化依据。
- 工程实现借鉴:采用无模型、确定性的分段编译器,输出 byte-identical,可缓存、可审计,适合在隐私敏感或需要严格复现的零售、金融场景落地,且内存占用极低(86× 压缩,数十毫秒处理完整日屏采集)。
FocusMem:因子化 GUI Agent 潜在记忆的内容、读出与信任
🧭 Agent记忆因子化与选择性读出
School of Computer Science, Peking University · Key Lab of High Confidence Software Technologies, Peking University · Institute of Information Engineering, Chinese Academy of Sciences · Department of Computer Science and Technology, Tsinghua University
在潜在记忆中因子化内容保留、状态条件读出和信任门控,解决 GUI Agent 记忆压缩损失与无关干扰问题
📌 工作参考价值(4 点)
- 构建对话式推荐 Agent 或任务助手时,可将情景记忆(用户长期偏好)与工作记忆(当前会话状态)分开存储并利用角色感知读出,提升多轮交互一致性。
- 状态条件读出机制可迁移至用户序列建模,根据当前推荐场景动态聚焦历史行为,增强推荐上下文的个性化与相关性。
- 信任门作为轻量过滤器,可集成到 RAG 管道中,抑制检索到的无关商品描述或历史交互,减少噪声,提高推理准确性。
- 记忆模块独立训练、策略模型冻结的架构,是一种低风险、易迭代的工程方案,适合业务中快速实验与部署。
MementoGUI:为长周期 GUI 代理学习主动多模态记忆控制
🧭 GUI 代理 · 主动多模态记忆管理 ★ 深度解读
University of Rochester · MIT-IBM Watson AI Lab · University of Wisconsin-Madison
提出即插即用的主动多模态记忆框架,不微调 GUI 骨干,通过学习写入、压缩、检索视觉工作记忆与情景记忆提升长周期任务表现
📌 工作参考价值(4 点)
- 双时间尺度记忆架构:将记忆解耦为工作记忆(在线保存任务状态)和情景记忆(跨任务经验复用),可参考设计电商 Agent 的长会话状态管理与跨会话知识积累,避免上下文无限膨胀。
- 自动数据管线生成监督信号:从交互轨迹自动构造步骤重要性、摘要、ROI 框和检索需求等训练标签,可迁移到对话或操作型 Agent 的记忆选择标注,降低人工成本。
- 即插即用的记忆注入方式:仅用文本摘要和 ROI 裁剪图像,不引入特殊 token 或架构改动,直接作为冻结 GUI 骨干的输入,便捷增强已有 Agent 的长程决策能力。
- 长周期评估指标:提出基于 VLM 的语义动作匹配、任务进展、记忆一致性评分,可参考用于评估电商场景下多步任务的决策质量和记忆使用合理性。